Mulanya menunaikan haji di Mekah kemudian belajar di Universiti Al-Azhar di Kaherah dan memperoleh ijazah Syahadah Alimiyah. Beliau orang Indonesia kedua lulusan Al-Azhar setelah Janan Thaib. Seterusnya belajar di Darul Ulum ,kini Universiti Kaherah). Beliau bertuah kerana dikecuali dari membayar yuran oleh Menteri Pendidikan Mesir kerana beliau satu-satunya pelajar bukan rakyat Mesir (1930).[1] Yunus adalah mahasiswa asing pertama yang tamat dari Darul Ulum.

Tahun 1931 Yunus kembali ke Madras School di Sungayang dan melakukan banyak pembaharuan pendidikan.Beliau memperkenalkan Madrasah Ibtidaiyah, Tsanawiyah, dan Aliyah.Malangnya Belanda mengarahkan sekolah-sekolah ini ditutup pada 1933 kerana ditubuh secara 'liar'.

Pada tahun 1932, Yunus meninggalkan Sungayang dan memimpin sekolah umum Kulliyyatul Muallimin Al-Islamiyyaah di Padang dengan tujuan melahirkan guru-guru. Yunus mengajarkan bahasa Arab. Beberapa subjek ditambah seperti Geografi dan kesihatan. Beberapa buah buku adalah hasil tulisannya sendiri ketika belajar di Mesir. Beliau memimpin NIS (1938) dan kembali memimpin pada tahun 1942-1946.